Offre en lien avec l’Action/le Réseau : – — –/– — –

Laboratoire/Entreprise : INRAE-Univ Clermont Auvergne
Durée : 5-6 mois
Contact : sandro.bimonte@inraefr
Date limite de publication : 2024-01-31

Contexte :
Pour accompagner la transition agroécologique, les robots ont un rôle essentiel à jouer dans le domaine de l’agriculture intelligente. Ils sont capables d’effectuer des opérations agricoles répétitives et précises sur une longue période avec un faible impact sur l’environnement.

Avec des équipements particuliers, et associés à des technologies d’acquisition et de traitement de données, les robots sont capables d’effectuer de manière autonome des tâches ciblées de manière efficace dans les champs.

De nombreux travaux de recherche portent sur l’agriculture intelligente. Dans le cadre du projet ISITE CAP2025, deux projets se sont intéressés à la gestion de données de l’agriculture. Le premier a réalisé une architecture Big Data pour le traitement des données des robots et des capteurs (avec Apache Kafka et Spark), ainsi qu’une base de données relationnelle pour stocker ces données. Le deuxième de type lac de données, le CEBA (Cloud Environnemental au Bénéfice de l’Auvergne), s’est intéressé à la collecte, l’ingestion et la restitution des données issues de capteurs bas débit en utilisant la pile Elastic et des bases de données relationnelles manipulant des données semi-structurée, sans fonctionnalité d’analyse.

Sujet :
Dans ce travail de stage, nous visons à mettre en place, dans le CEBA, un lac de données (data lake) complet (intégrant les outils des deux projets précédents) pour le stockage et l’exploration des données sources.

En particulier le travail consiste à :

– étudier et comparer les travaux existants sur les lacs de données spatiales : stockage et exploration

– caractériser les flux et implémenter un système d’ingestion (kafka, redpanda…)

– implémenter le système de stockage des données (ex. Apache Hadoop HDFS ou PostGIS)

– concevoir un modèle de métadonnées et implémenter un système de métadonnées

– implémenter un système d’exploration des données (ex. Apache Atlas, Open Metadata, Geonetwork, etc.)

Profil du candidat :
Master 2

Formation et compétences requises :
Outil Big Data (Hadoop, S3, Kafka)
Programmation: Java, Python, Spark
SQL, NoSQL

Adresse d’emploi :
Campus Cezeaux, Aubiere

Document attaché : 202401131652_sujetBigData.pdf